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Verfahren und Vorrichtung zur Visualisierung rechnergestiitz- 

ter Informationen 

Die Erfindung betrifft ein Verfahren und eine Vorrichtung 
zum Visualisieren rechnergenerierter Informationen. 

Aus der WO 00/52536 ist es bekannt, rechnergenerierte In- 
formationen, wie insbesondere technische Teile betreffende 
Datenbank- oder Zustandsinf ormationen zusammen mit einem 
realen Bild des entsprechenden technischen Teils auf einer 
Anzeige, insbesondere in textlicher Form, dar zustellen . Die 
gemeinsame Darstellung von realen Bildern und rechnergene- 
rierter Informationen wird als Augmented Reality (AR) , also 
erweiterte Realitat, bezeichnet. 

Fruher wurden Industrieroboter meist im Rahmen ihrer Inbe- 
triebnahme einmal programmiert und verrichteten anschlie- 
fiend jahrelang ohne Anderung die gleiche Aufgabe. Im Rahmen 
einer flexibleren Automatisierung fallt die Urn- und Neu- 
Programmierung selbst als Zeit- und Kostenf a'ktor starker 
ins Gewicht. 
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• Um einen Roboter in eine vorgegebene Position oder schlicht 
aus dem Weg zu bewegen, kann er manuell, insbesondere von 
einem Benutzer liber Verf ahrenstasten oder auch liber eine 
5 sogenannte 6D-Maus gesteuert) verfahren werden. Die Bewe- 
gungsrichtung des Roboters ist dabei vom gewahlten Bezugs- 
koordinatensystem abhangig. Fur den Bediener ist nicht im- 
mer unmittelbar klar, welches Bezugskoordinatensystem ange- 
wahlt ist bzw. wie dieses im Raum ausgerichtet ist. Haufig 
10 wird in der Praxis vorsichtig probiert, ob sich der Roboter 
in die gewiinschte Richtung bewegt. Ein Irrtum kann grolieren 
Schaden oder sogar Verletzungen von Personen zur Folge ha- 
j,. ben. - 
H f 

r 15 In besonderem MaJie trifft dies auf Bediener mit wenig Robo- 
tererfahrung zu, da die Vorstellung von Bezugskoordinaten- 
systemen bei Problemen ein Wissen voraussetzt, das ein Ro- 
boteranwender haben muss, um effektiv mit einem Robotersys- 
tem arbeiten zu konnen. Es ist allerdings haufig schwierig, 
20 "Roboterneulingen" dieses verstandlich zu machen, da diese 
in der Regel nicht iiber die entsprechende mathematische 
Vorbildung verfugen. 

Heute erfolgt die Vermessung der Spitze eines Werkzeugs 
r'2-5 (Tool Center Point - TCP) an einem Industrieroboter meist 
manuell. So wird z.B. ein vorgegebener Punkt mehrfach mit 
der Werkzeugspitze aus verschiedenen Richtungen angefahren, 
die entsprechenden Roboterpositionen werden abgespeichert 
und daraus- wird die Position und gegebenenf alls Orientie- 
30 rung der Werkzeugspitze gegentiber dem Flansch der Roboter- 
hand ermittelt. Auch die Vermessung von Werkstucken, d.h. 
die Festlegung von Basiskoordinationssystemen, erfolgt auf 
ahnliche Weise. 



Abhangig vom Einsat zzweck des Robotersystems (Art des Werk- 
zeugs - Schweifigerat, Schneid-, Klebewerkzeug, etc. - und ■ 
dessen Ausrichtung zum Werkstiick) muss der Roboteranwender 
ein bestimmtes Vermessungsverf ahren auswahlen. Wenn bei- 
spielsweise der Nullpunkt des zu vermessenden Werkstuckko- 
ordinaterisystems aufierhalb des Arbeitsraumes des Roboters 
liegt, muss indirekt iiber bekannte Punkte im Raum vermessen 
werden. Ein anderes Vermessungsverf ahren ist auszuwahlen, 
wenn das zu bearbeitende Werkstiick an einem am Roboter- 
flansch befestigten Greifer gefiihrt wird. Urn alle Einsatz- 
falle abzudecken, sind inzwischen iiber 18 verschiedene Ver- 
messungsverf ahren bekannt. Meist ist einem Roboteranwender 
selbst nach einer umfassenden Schulung nicht klar, welche 
Vermessungsmethode er in einem bestimmten Fall anwenden 
soli. Selbst erfahrene Anwender stolien bei neuen Konfigura- 
tionen, wie andere "Werkzeuge" und/oder "Werkstucke" auf 
Wissensdef izite, zumal Vermessungen selten durchgefiihrt 
werden. 

Die Vermessungsprozedur kann sich sehr komplex gestalten 
und ist mit einem hohen Zeitaufwand verbunden. Im haufig 
vorkommenden Fall eines vom Roboter gefiihrten Werkstiicks 
bei stationarem Werkzeug muss z.B. eine dreifache Vermes- 
sung von Positionen und anschlieJiend gegebenenf alls noch 
eine Bestimmung der Orientierung durchgefiihrt werden. Es 
ist eine sorgfaltige Arbeitsweise erf orderlich, da eine un- 
genaue Positionierung dazu fuhren kann, dass ein Vermes- 
sungsverf ahren keine oder unzulassige Ergebnisse liefert. 
Die mangelnde Sichtbarkeit des Vermessungsergebnisses fiihrt 
daruber hinaus zu einer Unsicherheit , ob ein gutes Vermes- 
sungsergebnis vorliegt, oder ob dieses etwa durch Verfah- 
rensfehler, Fehleingaben o.a. verfalscht wurde. 

Roboterprogramme werden heute haufig durch "Teachen", also 
"Lehren" erstellt, indem der Roboter manuell auf die Ziel- 



position einer Bewegung verfahren undder entsprechende 
Bahnpunkt dann abgespeichert wird. Auch die Bahnpunkte von 
"offline" in mittels einer Simulation erstellten Programme 
mtissen meist noch nachtraglich vor Ort "gelehrt" werden, da 
die Geometrie des Simulationsmodells und die reale Roboter- 
einsatzumgebung selten genau genug ubereinstimmen. Selbst 
beim Austausch einer defekten Robotermechanik gegen eine 
andere mlissen die Bahnpunkte in einem Roboterprogramm hau- 
fig erneut "gelehrt" werden, da die neue Mechanik durch die 
Fertigungstoleranzen eine leicht unterschiedliche Geometrie 
aufweist. 

Da sich Roboter nur sehr langsam bewegen diirfen, solange 
Menschen in der Nahe sind, und. die Zielposition genau ange- 
fahren werden muss, ist das Teachen bzw. Nach-Teachen zeit- 
raubend. Aufierdem bleibt trotz der langsamen Verf ahrenbewe- 
gung stets ein gewisses Risiko fur Sach- und Personenscha- 
den bestehen. Dieses Risiko existiert besonders auch bei 
neu (z.B. offline mittels einer Simulation) erstellten Ro- 
boterprogrammen, die der Programmierer zu Testzwecken auf 
dem Roboter ablaufen lasst. 

Im Betrieb wird nach dem Auftreten eines Fehlers -der Robo- 
ter haufig entlang der. programmierten Bahn zuriickgef ahren . 
In solchen oder anderen komplexen Situatipnen ist das Ver- 
halten des Robotersystems fur den Nutzer nicht direkt vor- 
hersehbar. Auch hier konnen Sach- oder Personenschaden die 
Folge sein. 

Urn Kollisionen auszuschlieften, werden bei Robotersystemen 
Arbeitsbereich festgelegt, in die das Roboterwerkzeug oder 
der gesamte Roboter nicht eindringen diirfen bzw. die Robo- 
terwerkzeug oder Roboter nicht verlassen diirfen. Andere Ar- 
beitsbereiche werden von mehreren "kooperierenden" Roboter- 
systemen und/oder anderen Anlagenkomponenten und/oder den 



menschlichen Nutzen gemeinsam genutzt, so dass ihre Nutzung 
verwaltet werden muss. 

Das Festlegen von Arbeit sbereichen. in einer solchen Anlage 
setzt ein aufwandiges Vermessen voraus. Das Uberprufen bzw. 
Anpassen festgelegter Arbeitbereiche in der Anlage ist 
ebenfalls sehr umstandlich, da eine optische Darstellung 
fehlt. In der Anlage ist nicht klar, ob und in welchen Be- 
reichen sich die erreichbaren Arbeitsraume von Robotersys- 
temen uberlappen, so dass eine Kollisionsgef ahr besteht. 

Beim handgef uhrten Betrieb von Robotersystemen (Roboter als 
"Intelligent Assist Device", "Cobot") werden die Bewegungs- 
f reiheitsgrade des Roboters haufig kunstlich eingeschrankt, 
urn die Tatigkeit des Nutzers zu erleichtern. Durch "vir- 
tuelle Fuhrungsmechanismen" (engl. "virtual fixtures") wird 
der Effektor des Roboters beispielsweise steuerungstech- 
nisch z.B. iiraner innerhalb einer Ebene gefuhrt, in der 
Orientierung immer parallel zum Boden gehalten, o.a. 

Virtuelle Fuhrungsmechanismen sind ein Spezialfall der Ein- 
schrankung des Arbeitsraums eines Robotersystems . Arbeits- 
raume sind Volumina, die das Robotersystem (oder ein Teil 
hiervon) nicht verlassen oder in welche es nicht eindringen 
darf . In speziellen Applikationen, in denen ein Roboter vom 
Nutzer am Werkzeug gefuhrt wird, kann es sinnvoll sein, 
z.B. die Orientierung des Greifers sof twaretechnisch fest- 
zusetzen, wahrend die Position des Greifers im Raum immer 
noch frei vom Nutzer verandert werden kann. Ein Anwendungs- 
fall ist der Einsatz eines Roboters als Fiigehilfe in der 
Montage: Der Roboter tragt das (ggf. schwere und sperrige) 
Bauteil, der Nutzer kann es mit geringem Kraftaufwand bewe- 
gen. Das Bauteil hat dabei von vorne herein die Lage, in 
der es montiert werden soli. Ein anderer Anwendungsf all ist 
z.B. die Lackierung von Flachen, bei der der Roboter das 
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Werkzeug (d.h. die Lackierpistole) in einem vorgegebenen 
Abstand zu der zu lackierenden Oberflache halt, wahrend. der 
Nutzer die Lackierpistole uber die Oberflache fuhrt. Solche 
gezielten sof twaretechnischen Einschrankungen der Bewe- 
5 gungsmoglichkeiten werden als "virtuelle Fuhrungsmechanis- 
• men" bezeichnet, weil sie ahnlich wie eine mechanische 
Zwangsf uhrung des Robotergreif ers wirken. 

Die Information liber Arbeitsraume oder virtuelle Fuhrungs- 
10 mechanismen liegen in der Robotersteuerung als abstrakt- 
mathematische Information vor. * 

r Der virtuelle Fuhrungsmechanismus kann in Abhangigkeit der 

M vorliegenden Aufgabe dynamisch wechseln. Wahrend der Pro- 
"15 grammierung Arbeitsraume oder virtuelle Fuhrungsmechanismen 
festzulegen oder zu andern ubersteigt das erf orderliche 
Vorstellungsvermogen vieler Nutzer, so dass dem Nutzer 
nicht unmittelbar ersichtlich ist, in welchen Richtungen 
eine Bahn- und/oder Drehbewegung des Roboter, genauer des 
20 Zentrums seines Arbeitswerkzeugs (Tool Center Print TCP) 

moglich bzw. gesperrt ist. Da er das Verhalten des Roboter-. 
systems nicht vorhersagen kann, ist er verunsichert . Durch 
falsche Handhabung, wie beispielsweise Ausuben hoher Krafte 
in einer Richtung, die durch einen "virtuellen Fiihrungsme- 
r 25 chanismus" gesperrt wird, konnen Schaden am Robotersystem 
entstehen. 

In den heutigen Fertigungsanlagen stehen haufig eine Viel- 
zahl von Robotern dicht gedrangt nebeneinander . Jeder die- 

30 ser Roboter besitzt ein eigenes Programmierhandgerat (PHG) . 
Eine eindeutige Zuordnung zwischen PHG und Roboter ist 
prinzipiell uber ein gegebenenf alls vorhandenes Verbin- 
dungskabel zwischen beiden gegeben. In dieser Situation ist 
das Nachverf olgen des einen speziellen PHG mit dem zugeord- 

35 neten Roboterverbindungskabel wahrend der Inbetriebnahme 



und Programmierung eines Robotersystems, aber auch gegebe- 
nenfalls beim spateren Betrieb, muhsam und zeitauf wendig, 
so dass in der Praxis eher auf eine "Trial und Error" Me- 
thode zuruckgegrif f en wird, indem ein PHG vorsichtig be- 
dient und gepruft wird, ob sich tatsachlich auch der ge- 
wiinschten Roboter bewegt, und wenn nicht, ein anderes PHG 
ausprobiert wird. Entsprechendes gilt, wenn kein Kabel vor- 
handen ist, sondern die Kommunikation zwischen PHG und Ro- 
botersteuerung drahtlos erf olgt . 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und 
eine Vorrichtung zu schaffen, mittels derer die Bedienung 
eines oder. mehrerer Roboter zum Einrichten, Programmieren, 
Lehren von durch diesen durchzuf iihrenden Bewegungsablauf en 
etc. vereinfacht und erleichtert wird. 

Erf indungsgemafi wird die genannte Aufgabe beim Verfahren 
der eingangs genannten Art gelost, welches dadurch gekenn- 
zeichnet ist, dass eine Bestimmung von Ort und Ausrichtung 
* (Pose) des Bildempf angsgerat s erfolgt und dass dieser Be- 
stimmung entsprechende roboterspezif ische Inf ormationen auf 
dem Sichtgerat dem Bild der realen Umwelt iiberblendet wer- 
den . 

Weiter sieht die Erfindung zur Losung der Aufgabe eine Vor- 
richtung zum visuellen Einblenden computergenerierter In- 
formationen in ein Bild der realen Umwelt vor, bei denen 
eine Einrichtung zur Bestimmung von Ort und Ausrichtung 
(Pose) des Bildempf angsgerats und durch eine Einrichtung 
zum Uberblenden der Bestimmung entsprechender roboterspezi- 
fischer Inf ormationen uber das Bild der realen Umwelt auf 

dem Sichtgerat vorgesehen ist. 

< 

Im Rahmen der Erfindung beinhaltet der Begriff roboterspe- 
zifische Inf ormationen das Arbeiten eines Roboters betref- 
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fender Informationen, wie insbesondere Informationen zum 
Roboter selbst, zu vom Roboter zu handhabenden Werkstucken 
sowie zu in seinem Bereich befindlicher Hindernisse, wie 
Anlagen, Teilen, diese jeweils zum Ort und Ausrichtung 
(Pose) sowie Bewegung. Die Informationen werden bildhaft 
auf dem Sichtgerat eingeblendet . 

Durch die Erfindung wird eine hohere Flexibilisierung der 
Automatisierung von Arbeitsablauf en mittels Robotern er- 
reicht, da ein Urn- und Neuprogrammieren erleichtert wird. 

Durch die Erfindung lasst sich Inbetriebnahme, Programmie- 
rung und Bedienung von Robotern vereinfachen und effizien- 
ter gestalten. Die Erfindung bezieht sich insbesondere auch 
auf Gruppen von Robotern und zusatzliche Komponenten einer 
Roboter aufweisenden komplexen Anlage, wie f ordertechni- 
schen Einrichtungen . 

In einer ers'ten bevorzugten Ausgestaltung sieht die Erfin- 
dung vor, dass zumindest ein roboterspezif isches Bezugs- 
Koordinatensystem eingeblendet wird, wobei insbesondere 
Handf lansch-f estes Koordinatensystem eingeblendet wird. Die 
Visualisierung des Koordinatensystems des Flansches der Ro- 
boterhand und damit auch des damit an dieser befestigten 
Werkzeugs geschieht vorzugsweise derart, dass der Ursprung 
dieses Koordinatensystems vorzugsweise am Tool-Center-Point 
(TCP) wiedergegeben wird (TCP-Koordinaten-System) . Danben 
konnen auch -andere Bezugs-Koordinatensysteme, wie insbeson- 
dere das stationare "Welt-Koordinatensystem" Oder . stationa- 
re werkstuck-f este (Basis-) Koordinatensysteme visualisiert 
werden, letzteres dann vorzugsweise im Symmetriemittelpunkt 
des stationaren Sockels eines Roboters. 

Bei stationaren Basis-Koordinatensystemen (Welt, Basis) 
kann je nach Erfordernis zusatzlich oder alternativ ein in 



den TCP verschobenes Koordinatensystem eingeblendet werden, 
dessen Raumrichtungen dem des stationaren Bezugs- 
Koordinatensystems entsprechen, das sich aber mit dem 
Flansch des Roboter mitbewegt. 

In weiterer bevorzugter Ausgestaltung ist vorgesehen, dass 
Roboterachsen eingeblendet werden. Die virtuellen Roboter- 
achsen werden dabei so mit dem realen Bild des Roboters 
iiberlagert, dass sie den Achsen der einzelnen Teile des Ro- 
boters (Sockel, Schwinge, Roboterarm und Roboterhand) ent- 
sprechen bzw. mit diesen zusammenf alien und diese so repra- 
sentieren. 

Die Koordinatenrichtungen werden am Robotersystem, z.B. an 
dessen Tool-Center-Point, eingeblendet und gegebenenf alls 
bezeichnet (z.B. "X" , "Y", "Z" beim kartesischen Verfahren; 
beim achsspezif ischen Verfahren z.B. "Achse 1", Achse 2", 
"Achse 3" usw.). Sinnvoll kann es auch sein, die aktive(n) 
Koordinatenrichtung (en) bzw. Achse (n) graphisch, z.B. durch 
Farbe oder Animation, hervorzuheben . 

Zur Ermoglichung einer direkten Manipulation von Bezugsko- 
ordinatensystemen wird ein Koordinatensystem (des gewahlten 
Typs) automat isch an einem vorgegebenen Ort generiert und 
visualisiert . Das Koordinatensystem kann dann durch den 
Nutzer unter visueller Kontrolle verschoben und gedreht 
werden, bis die gewiinschte Position und Orientierung er- 
reicht ist. 

Das erf indungsgemaJie Visualisieren des angewahlten Bezugs- 
koordinatensystems bzw. der Roboterachsen am realen Robo- 
tersystem ube.r "Augmented Reality" (AR) macht das manuelle 
Verfahren, insbesondere mittels der Verf ahrtasten des Robo- 
tersystems wird auf den Nutzer besser vorhersehbar . 
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Die durch die Erfindung ermoglichten Manipulierbarkeit der 
Bezugskoordinatensysteme enthebt den Nutzer davon, umstand- 
liche und aufwendige Vermessungsverf ahren zu erlernen und 
5 durchzuf uhren. Ein Manipulieren von augmenten ( virtuellen) 
Objekten ist intuitiver, spart Zeit und Kosten, und ermog- 
licht niedrigere Anf orderungen an Qualif ikation eines Nut- 
zers . 

10 Eine andere bevorzugte Ausgestaltung der Erfindung zeichnet 
sich dadurch aus, dass das Bild eines zumindestens in zwei 
Dimensionen bewegbaren Bedienungselements eines Roboter-- 
Programmierhandgerates eingeblendet wird, wobei insbesonde- 
re das Bild des Bedienungselements in Zuordnung und Aus- 
15 richtung des Roboter-Handf lansches eingeblendet wird. Hier- 
durch wird dem Benutzer veranschaulicht und die Vorstellung 
erleichtert, welche Bewegung der Roboter urid insbesondere 
dessen Roboterhand - sowie ein hieran befestigtes Werk- 
zeug - ausfuhren, wenn das - reale - Bedienungselement bei- 
20 spielsweise an einem Programmierhandgerat betatigt wird. 

Das Bedienungselement kann entweder am TCP des Robotersys- 
tems eingeblendet werden und sich mit diesem bewegen. Al- 
ternativ kann das Eingabeelement auch an einem vorgegebenen 
Ort auf dem Display eingeblendet werden, oder aber ortsfest 
im Raum stehend. 

Bei Bedienelementen, die einen symmetrischen Aufbau aufwei- 
sen, kann die Lage des Koordinatensystems im eingeblendeten 
Eingabeelement fur den Nutzer gegebenenf alls nicht unmit- 

30 telbar erkennbar sein. In diesem Fall kann es sinnvoll. 

sein, zusatzliche Markierungen (z.B. ein graphisches Sym- 
bol) am eingeblendeten Eingabeelement anzubringen. In die- 
sem Sinn kann z.B. auch die normale Position der Hand des 
Nutzers am Bedienungselement eingeblendet werden. Bei einem 

35 Bedienungselement mit sechs Freiheitsgraden (z.B. einer 6D- 



Maus) kann es auch ausreichen, nur die Hand des Nutzers oh- 
ne das Bedienungselement selbst einzublenden. 

Neben der Visualisierung virtueller Elemente, wie Koordina- 
tensystemen oder Roboterachsen oder auch realer Elemente in 
virtueller Form, wie einer Bedienungseinheit an einem Pro- 
grammierhandgerat , zusammen mit dem Bild des realen Robo- 
ters kann in aufierst bevorzugter Ausgestaltung auch ein Ro- 
boter und sein Bewegungsablauf in einer realen Umgebung und 
mit dort vorhandenen realen Werkstucken visualisiert wer- 
den. Hierdurch verringert sich das Risiko von Personen- o- 
der Sachschaden. Der Zeitaufwand sinkt, da sich der augmen- 
tierte Roboter beliebig. schnell bewegen darf, auch wenn 
sich Personen in unmittelbarer Umgebung befinden. 

Fur das Teachen von Bahnpunkten wird der simulierte Roboter 
vom Nutzer verfahren und die Bahnpunkte nach Erreich der 
gewiinschten Zielposition abgespeichert . Beim Test von Pro- 
grammen fahrt der simulierte Roboter an der Stelle des rea- 
len Systems die programmierte Bahn ab. Dies kann in der 
programmierten oder auch jeder beliebigen anderen Geschwin- 
digkeit erfolgen. Das Abfahren der Bahn muss nicht reali- 
tatsnah simuliert werden: So kann es vorteilhaft sein, le- 
diglich nacheinander die Zielposen einzublenden (d.h. von 
Bahnpunkt zu Bahnpunkt zu springen) , urn diese zu uberpriif en • 
und gegebenenf alls ahzupassen. 

In weiterer bevorzugter Ausgestaltung kann erf indungsgemaJi 
vorgesehen sein, dass eine bei einem Roboter im Rahmen 
eines Arbeitsvorgangs zu durchlauf ende Roboterbahn, insbe- 
sondere die des Tool-Center-Points, gegebenenf alls mit Zu- 
satzinf ormationen eingeblendet wird, vorzugsweise in Zuord- 
nung zum Roboter, genauer dem Bild seines (realen) Hand- 
flansches bzw. des TCP eines Werkzeugs. Durch Programmier- 
oder Manipulationsvorgange, die ein Bediener an einem Pro- 
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grammierhandgerat ausfuhrt, wird dann die Darstellung der 
visualisierten Roboterbahn, die ebenfalls in Zuordnung zum 
Roboter dargestellt wird, also durch den Handflansch bzw. 
dem TCP eines Werkzeugs hindurchlauf t , im Raum. verandert. 
Dies kann insbesondere dadurch geschehen, dass Bahnpunkte 
eingeblendet werden, dass die Position der Bahnpunkte im 
Raum veranderbar ist und jeweils eine der Position der Ge- 
samtheit der Bahnpunkte entsprechende Roboter-Bahnkurve 
eingeblendet wird. 

Auch konnen neben dem raumlichen Bahnverlauf auch zusatzli- 
che Bewegungsparameter (z.B. Geschwindigkeiten, Beschleuni- 
gungen, o.a.) oder spezielle Funktionen (z.B. Bahnschalt- 
funktionen, Setzen/Lesen von Eingangen/Ausgangen, 
Start/Stop von Bearbeitungsvorgangen, o.a.) visualisiert 
werden. Diese Inf ormationen konnen textuell, aber auch gra~ 
phisch oder durch Animation visualisiert werden. 

In weiterer Ausgestaltung kann vorgesehen sein, dass zur 
Anpassung einer Roboterbahn an die Position eines erfassten 
realen Werkstiicks ein virtuelles Bild des Werkstiicks mit 
einer an dieses angepassten Roboterbahn eingeblendet wird, 
so dass durch Oberlagerung des virtuellen Werkstuckbildes 
und der Bahnpunkte des Roboters mit dem Bild des realen 
Werkstuckes die durchzuf uhrende Roboterbahn an die Position 
des realen Werkstiicks anpassbar ist. 

Andere beyorzugte Ausgestaltungen der Erfindung sehen vor, 
dass der durch einen Roboter erreichbare Gesamtarbeitsraum 
und/oder zulassige Arbeitsbereiche und/oder unzulassige Ar- 
beitsbereiche auf der Anzeige visualisiert wird und/oder 
Bewegungskorridore eines Roboter-Werkzeugs , einer Robo- 
ter-Hand und/oder weiterer Roboterelemente auf der Anzeige 
visualisiert werden. "Gesamtheitsraum" bezeichnet dabei die 
Gesamtmenge aller Posen, die der TCP einnehmen kann. 
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"Arbeitsbereiche" konnen willkurlich vom Programmierer 
festgelegt werden. 

Bei einer Vielzahl von Robotern, die beispielsweise bei 
5 einer Anlage zusammenwirken, kann weiterhin vorgesehen 

sein, dass permanente und/oder momentane Zuordnungen min- 
destens eines Programmierhandgerates zumindestens eines Ro- 
boters visualisiert werden. 

10 In ahnlicher Weise wie die Zuordnung zwischen Robotersystem 
und- PHG lasst sich auch der aktuelle Stand des Roboter- 
systems uber AR visualisieren und gegebenenf alls andern. 
^ Beispiele fur zu visualisierende Zustande ist die gewahlte 
Betriebsart, der Zustand der Antriebe (eingeschaltet bzw. . 

15 stromlos) , etc. 

Allen besohriebenen bevorzugten. Ausgestaltungen ist gemein- 
sam, dass die computergenerierten Inf ormationen entweder 
dem Nutzer konstant oder auf dessen Anforderung hin visua- 

20 lisiert werden konnen (z.B. im Zusammenhang mit dem manuel- 
len Verfahren bei der Betatigung einer Verfahrtaste, wenn 
die Zustimmungstaste nicht gedruckt" ist) . Eine weitere Al- 
ternative besteht darin, die Information zu einem vorgege- 
benen Zeitpunkt automatisch einzublenden (z.B. kurz bevor 

■25 sich das reale Robotersystem in Bewegung setzt) . 

In den oben dargestellten vier Anwendungsbereichen kann das 
AR-System eine kontinuierliche Bildfolge liefern oder auch, 
vom Bediener ausgelost, einzelne "Schnappschusse". Die In- 
30 formation wird entsprechend entweder online in die Bildfol- 
ge oder offline in das aufgenommene Einzelbild eingeblen- 
det . 
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Das Visualisieren kann auch ausschaltbar sein. Bei einer 
kontinuierlich'en Bildfolge gegebenenf alls kann auch die 
Moglichkeit angeboten werden, das Bild einzuf rieren . 

5 Die Visualisierung von generierten Objekten kann beliebige 
Grade der Realitatsnahe aufweisen. Die Visualisierung kann 
auch halbtransparent oder als Kantenmodell ausgefuhrt wer- 
den, urn die Sicht des Nutzers auf die Anlage nicht zu be- 
eintrachtigen . 

10 

Weitere Vorteile und Merkmale der Erfindung ergeben sich 
aus den Anspriichen und aus der nachf olgenden Beschreibung, 

* in der Ausf uhrungsbeispiele der Erfindung unter Bezugnahme 
auf die Zeichnungen im einzelnen erlautert sind. Dabei 

15 zeigt bzw. zeigen: 

eine erste Ausf iihrungsf orm einer Vorrich- 
tung zum Einblenden computergenerierter In- 
f ormationen in ein Bild der realen Umwelt, 
in Drauf sicht (Fig. la) und in Seitenan- 
sicht (Fig. lb) ; 

eine andere Ausf iihrungsf orm der erfindungs- 
gemaften Vorrichtung, in Drauf sicht (Fig. 
2a) und in Seitenansicht (Fig. 2b) ; 

eine weitere Ausf iihrungsf orm der erfin- 
dungsgemalien Vorrichtung; 

Darstellungen zur erf indungsgemaB ermog- 
lichten Manipulation von augmentischen 
Raumobjekten in verschiedenen Varianten; 



20 



Fig. la, lb 



Fig. 2a, 2b 



Fig. 3 



30 Fig. 4a-4c 
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Fig. 5 beispielhaft ein Ablauf diagramm zum AR- 

unterstut zten Andern einer Roboterbahn; 

Fig. 6 ein Blockschaltbild der erf indungsgemalien 

5 Vorrichtung; 

Fig. 6a ein Blockschaltbild der erfindungsgemalien 

Vorrichtung entsprechend der Ausfuhrungs- 
form der Fig. 2; 
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t 



5 

y 
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Fig. 6b ein Blockschaltbild der erf indungsgemalien 

Vorrichtung entsprechend einer Ausfuhrungs- 
form der Fig. 3; 



15 Fig. 7a-c Darstellungen von ausgewahlbar koordinier- 

ten Systemen und Verf ahrindikator (Fig. 7a) 
zum manuellen kartesischen Verfahren. 

Fig. 8-18 erf indungsgemaft erzeugbare kombinierte Dar- 

20 stellungen von Bereichen der realen Umwelt 

zusammen mit roboterspezif ischen computer- 
generierten Inf ormationen als erweiterte 
Real itats -Darstellungen (Augmented Reality 
Displays) . 



Die Figuren la und lb zeigen eine erste Ausf iihrungsf orm 
einer erf indungsgemalien Vorrichtung 1 zum Einblenden rech- 
nergenerierter Inf ormationen in ein Bild der realen Umwelt 
auf einer Anzeige. 



Die erf indungsgemafie Vorrichtung 1 weist ein Programmier- 
handgerat 2 (PHG) fur einen Roboter auf, mit dem der Ar- 
beitsablauf eines Roboters in komfortabler Weise program- 
miert werden kann. Das Programmierhandgerat 2 weist hierzu 
.35 Bedienungselemente in Form von - im dargestellten Ausfuh- 
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rungsbeispiel - sechs Verf ahrtasten 2.1 sowie einer soge- 
nannten 6D-Maus 2.2 auf ,• liber die die Bewegungen der sechs 
Achsen eines Roboters genauso wie liber die Verfahrtas- 
ten 2.1 gesteuert werden kann. Ein solches Programmierhand- 
5 gerat 2 ist aus der EP 0 840 910 (entsprechend US 

6,134,102) bzw. aus der EP 0 840 909 (entsprechend US 
6,362, 813) bekannt, auf die ausdrlicklich zur Offenbarung 
eines solchen Programmierhandgerats verwiesen wird. Das 
Programmierhandgerat 2 weist weiterhin einen Bildschirm 2.3 

10 auf, auf dem Inf ormationen und Daten des Steuerprogramms, 

wie verschiedene Parameter zum Bewegungsablauf der Roboter- 
bewegung, dafgestellt werden. Eingaben konnen beispielswei- 

Y se liber - nicht dargestellte - korperliche Tasten erfolgen 
oder aber, indem der Bildschirm 2.3 als berlihrungsempf ind- 

15 licher Bildschirm (Touch-Screen) ausgebildet ist und Einga- 
betasten auf dem Bildschirm 2^3 eingeblendet werden. 

Im dargestellten Ausf lihrungsbeispiel der Fig. la und lb 
weist die erf indungsgemafie. Vorrichtung eine weiteres, vom 

20 Bildschirm 2.3 getrenntes zusatzliches Sichtgerat 1.1 auf, 
das allerdings korperlich mit dem Programmierhandgerat 2 
verbunden ist und beispielsweise an diesem schwenkbar ange- 
bracht ist. Auf der Rlickseite des Sichtgerats 1.1 ist im 
dargestellten Ausf lihrungsbeispiel ein Bildempf angsgerat A. 2 
Jjp5 in Form einer Kamera vorgesehen, mittels derer die reale 

Umwelt aufgenommen werden kann, wobei aufgrund dieser Auf- 
nahme, beispielsweise duxch im Raum angeordnete Markierun- 
gen, der Ort und die Ausrichtung des Bildempf angsge- 
rats 1.2, kurz als Pose bezeichnet, im Raum rechnerisch be- 

30 stimmt werden konnen. Alternativ kann die Pose des Bildemp- 
fangsgerats 1.2 auch durch einen Vergleich des von ihm auf- 
genommenen tatsachlichen Bildes mit einem gespeicherten Re- 
ferenzbild oder durch ein zusatzliches Sensorsystem erfol- 
. gen. 
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Auf dem Sichtgerat 1.1 wird einerseits das von der Kame- 
ra 1.2 auf genommene Bild der realen Umwelt dargestellt, an- 
dererseits werden roboterspezif ische computergeneri.erte In- 
5 formationen in dieses Bild miteingeblendet , wie dies bei- 

spielhaft in Darstellungen auf dem Sichtgerat 1.1 gemaB den 
Figuren 7 bis 18 dargestellt ist. 

Statt eines Sichtgerats 1.1 in Form eines herkommlichen 
10 graphikf ahigen Bildschirms kann das Sichtgerat 1.1 auch ein 
transparenter Bildschirm sein, so dass, gegebenenf alls fiber 
eine Abbildungsoptik auf dem Sichtgerat 1.1 ein Bild der 
w realen Umwelt ohne opto-elektronische Wandlung. dargestellt 
\ werden kann und sichtbar ist. Die Bestimmungen der Pose 
15 kann in einem solchen Falle beispielsweise auch technisch 
erfolgen, indem im Raum Funkmarkierungen angeordnet sind, 
relativ zu denen die Position und Ausrichtung mittels eines 
zumindestens mit dem Sichtgerat 1.1 verbunden Empf angers 
bestimmt werden kann. 

20 

Grundsatzlich kann das Sichtgerat 1.1 auch raumlich ge- 
trennt vom Programmierhandgerat 2 vorgesehen sein - wie es 
in einer speziellen Ausbildung der Ausgestaltung der Fig. 3 
der Fall ist. 

Statt eines separaten Bildschirms als Sichtgerat 1.1, wie 
es bei der Ausgestaltung der Fig. la, lb der Fall ist, kann 
das ein Bild der realen Umwelt zusammen mit roboterspezif i- 
schen computergenerierten Inf ormationen darstellende Sicht- 
30 gerat 1.1 auch im Programmierhandgerat 2 integriert sein, 
beispielsweise als Bildschirmf enster innerhalb der Bild- 
schirmanzeige 2.3 des Programmierhandgerats 2, wie dies in 
der Ausgestaltung der Fig. 2a, 2b der Fall ist. 
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In einem solchen Fall wird eine Kamera 1.2 zur Aufnahme des 
Bildes der realen Umwelt unmittelbar am Programmierhandge- 
rat 2 angeordnet, wie dies insbesondere aus der Fig. 2b er- 
sichtlich ist. Sie kann auch vollig getrennt vom Sichtgerat 
1.1 angeordnet sein, insbesondere wenn beispielsweise ein 
sinnvoller Aufnahmeort fur den Bediener nicht oder schlecht 
zuganglich ist. 

Ansonsten entspricht die Ausgestaltung der Fig. 2a, 2b, 
insbesondere hinsichtlich des Programmierhandgerats 2 der 
Ausgestaltung der Fig. la, lb. 

Die Fig. 3 zeigt die Ausgestaltung einer erf indungsgemafien 
Vorrichtung mit einem Sichtgerat 1.1 in Form einer Brille, 
bei deren Brillenglaser 1.3 die reale Umwelt direkt von 
einem Nutzer 4 wahrgenommen werden kann ("See-through" 
Brille), wobei. die Glaser 1.3 als transparenter Bildschirm 
ausgebildet sind, in die roboterspezif ische computergene- 
rierte Inf ormatibnen eingeblendet werden konnen. Hierzu ist 
das Sichtgerat 1.1 iiber ein Kabel 1.4 mit einem Program- 
mierhandgerat 2 verbunden. Dieses kann auch durch eine 
drahtlose Ubertragung, insbesondere eine Funkubertragung, 
aber auch eine Inf rarot-Ubertragung ersetzt sein. An dem 
Sichtgerat 1.1 ist eine Kamera 1.2 vorgesehen, mit der iiber 
entsprechende optische Markierungen im Raum Ort und Aus- 
richtung des Sichtgerats 1.1 bestimmt werden konnen. Zu- 
satzlich oder alternativ kann die Pose des Sichtgerats 1.1 
bzw. des Bildempf angsgerats 1.2 aus einem Vergleich des Ka- 
merabilds mit gespeicherten Bildes erfolgen. Grundsat zlich 
kann auch hier ein elektromagnetisches, optisches oder a- 
kustisches Sensorsystem vorgesehen sein, mittels dessen Ort 
und Ausrichtung des Bildempf angsgerats bzw. Sichtgerats re- 
lativ zu entsprechenden Markierungssendern im Raum bestimmt 
werden konnen, wie dies oben erlautert wurde. 
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Durch die Erfindung wird ein Manipulieren roboterspezif i- 
scher Daten durch Manipulieren virtueller oder augmentier- 



5 selbst, Bahnverlauf, Werkstlicke etc, ermoglicht. Dies wird 
unter Bezug auf die Fig. 4a bis 4e erlautert. 

Die bekannten Bedienelemente am Programmierhandgerat , wie 
Verf ahrtasten 6D-Maus konnen mittels Betatigung durch die 
10 Hand 4.1 eines Roboters dazu eingesetzt werden, die ange- 
wahlten augment iert en Raumobjekte zu verschieben und ver- 
drehen, wobei AR ? die Pose des verschobenen Raumobjekts an- 
f> gibt, ganz ahnlich wie der TCP eines realen Robotersystems 



im Rahm verfahren wird. Der Zeitaufwand ist gegenuber einer 
1"5 reinen AR-Visualisierung gering. 

Die Lage eines Eingabeelements im Raum kann durch ein Sen- 
sorsystem 3 mit einem stationaren Empf angssystem 3.1 und 
einem Eingabeelement 3.2, beispielsweise in Form eines Zei- 
20 gestifts erf asst. Bewegt ein Nutzer ein Eingabeelement 3.2, 
so wird diese Bewegung auf das angewahlte aumentierte Raum- 
objekt AR (oder gg. auch mehrere) ubertragen. 

Urn die Ergonomie zu erhohen, kann die Bewegung entsprechend 

jffi eines durch den Nutzer vorgegebenen Skalierungsf aktors ver- 

t 

kleinert oder vergrofiert auf das ausgewahlte Raumobjekt u- 
bertragen werden. Die Herstellung der "Kopplung" der raum- 
lichen Bewegungen von Eingabeelementen und augmentiertem 
Raumobjekt erfolgt auf eine entsprechende Eingabe des Nut- 

30 zers hin (z.B. so lange dieser einen Knopf am Eingabeele- 
ment gedruckt halt) . Uber wechselndes "Koppeln" und 
"Entkoppeln" lassen sich augmentierte Raumobjekte auch uber 
groBe Distanzen verschieben, ohne das Eingabeelement uber 
eine entsprechend groBe Distanz bewegt werden muss, soo 

35 dass eine "Indesierung" erfolgt. 



terr roboterspezif ischer (Raum-) Objekte, wie Roboter 
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Eingabeelemente im oben beschriebenen Sinn sind z.B. ein 
Zeigestift, ein Handgriff, ein Datenhandschuh, oder auch 
das Prograramierhandgerat selbst. Bei dem Sensorsystem kann 
5 es sich z.B. urn ein auf elektromagnetischer (z.B. Funk), 
optischer (z.B. Infrarot) oder akustischer (z.B. Ultra- 
schall) Ortung basierendes System handeln. Wird das Pro- 
grammierhandgerat selbst als Eingabeelement verwendet, so 
kann das oben erwahnte, in diesem ggf. ohnehin enthaltene 
10 System zur Bestimmung der raumlichen Pose auch fur die Ma- 
nipulation von Raumobjekten genutzt werden. 

Alternativ kann die Pose des Eingabeelements (z.B. eines 
Zeigestifts) nicht gegeniiber dem Erdboden, sondern gegen- 

i5 iiber dem handgehaltenen Programmierhandgerat gemessen und 
ausgewertet werden. Neben den oben beschriebenen Moglich- 
keiten kann die Pose des Eingabeelements dann auch durch 
ein mechanisches Messsystem zwischen Eingabeelement und 
Programmierhandgerat zum Einsatz kommen, wie eine Mehrge- 

20 lenk-Kinematik mit integrierten Gelenkwinkelsensoren. 

Mit einem Eingabeelement 3.1 (z.B. einem Zeigestift, einem 
Handgriff, einem Datenhandschuh oder dem gesamten Program- 
mierhandgerat) , dessen Pose im Raum durch ein entsprechen- 
0b des System erfasst wird, konnen Raumobjekte AO direkt vor- 
gegeben werden. 

Der wesentliche Vorteil der Manipulationsmoglichkeiten ge- 
maft den Fig. 4b und 4c ist, dass die Manipulation von Raum 
30 objekten iiber das raumliche Positionieren eines Eingabeele 
ments zeitsparender und fur den Nutzer intuitiver ist' als 
iiber ein geschwindigkeitsgesteuertes Verschieben und Ver- 
drehen z.B. mittels Verf ahrtasten oder 6D-Maus . 
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Die beschriebenen Manipulationsmoglichkeiten lassen sich 
auf jedes der beschriebenen AR-Einsat zszenarien (Ver- 
schieben des Bezugskoordinatensystems bei der Vermessung 
von Werkzeug- oder Werkstuckkoordinatensystemen, Verschie- 
5 ben der Stutzpunkte von Roboterbahnen, Verschieben der Eck- 
punkte oder Seitenwande von Arbeitsbereichen, etc.) abbil- 
den. 

Der in Fig. 5 dargestellte Ablauf beim AR-gestutzten Andern 
10 einer Roboterbahn beinhaltet zunachst eine Nachprogramman- 
wahl eine Abfrage zum Status der Bearbeitung, dahingehend, 
oi> diese abgeschlossen ist oder nicht (Schritt A) . Im Falle 
einer Verneinung erfolgt eine Abfrage dahingehend, ob ein 
Bahnabschnitt geandert werden soil (Schritt B) . Ist dies 
15 nicht der Fall, so erfolgt ein Rucksprung. Wenn ein Bahnab- 
schnitt geandert werden soli, so erfolgt im Programm eine 
Bestimmung bzw. Berechnung hinsichtlich eines ausgewahlten 
Bahnabschnittes, wobei dieser auch die gesamte Bahn des 
Tool-Center-Points beinhalten kann (Schritt C) . Der ausge- 
2 0 wahlte Bahnabschnitt oder auch die gesamte Bahn werden auf 
dem Sichtgerat in ein Bild der realen Umgebung eingeblendet 
(Schritt D) . Im folgenden erfolgt eine Abfrage dahingehend, 
ob ein Verf ahrbef ehl oder auch mehrere geandert werden sol- 
len. Ist dies nicht der Fall, so wird die Visualisierung 
beendet (Schritt D 1 ) und der Bahnabschnitt ausgeblendet 
(Schritt D lf ), sowie ein Rucksprung zur Abfrage B vorgenom- 
men . 



Bei Veranderung eines Verf ahrbef ehls oder auch mehrere wird 
30 ggf • die zugehorige Bahn bestimmt "(Schritt F) . Der Ziel- 
punkt der ausgewahlten Verf ahrbewegung und ggf. auch die 
dazugehorige Bahn des Tool-Center-Points wird in der AR- 
Darstellung graphisch hervorgehoben (Schritt G) . Gegebenen- 
falls wird hier auch die Orientierung in geeigneter Weise 
35 durch Einblenden eines Koordinatensystems visualisiert , wie 
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diesweiter unten insbesondere unter Bezug auf die Fig. 14 
erlautert ist. 

Aufgrund von unter Bezug auf die Fig. 4a bis 4c beschriebe- 
5 nen Vorgaben seitens des Nutzers durch Verschieben der Bahn 
und ggf. des Zielpunktes im Raum werden nun veranderte 
Zielpunkte und ggf. Bahnen bestimmt (Schritt H) und in der 
AR-Darstellung visualisiert (Schritt I), so dass die Lage 
des Zielpunktes (und ggf. der Bahn) in der AR-Darstellung 
10 iiberpriift werden kann. Gegebenenf alls iiberpriift die Soft- 
ware der Robotersteuerung, ob der Zielpunkt durch den Robo- 
ter erreichbar ist und generiert ggf. Warnmeldungen . 



Nach Berechnung und Darstellung gewunschter Zielpunkte (und 
15 ggf- Bahnen gemafi den Schritten H, I) erfolgt eine Abfrage 
dahingehend, ob der gewunschte Zielpunkt (und ggf. der ge- 
wunschte Bahnverlauf ) erreicht ist (Schritt J) . Ist dies 
nicht der Fall, so kann das Bestimmen und Visualisieren ei- 
nes anderen Zielpunktes (und ggf. Bahnverlauf s) wiederholt 
20 werden, so dass die Schritte H, I wiederholt werden. Ist 
der gewunschte Zielpunkt erreicht, so erfolgt ein Sichern 
desselben und des zugehorigen Verf ahrbef ehls (Schritt K) . 

Anschlieftend erfolgt ein Riicksprung zur Abfrage E dahinge- 
t^^ 5 hend, ob ggf. ein anderer Verf ahrbef ehl. geandert werden 

soil. Ist dies der Fall, so werden fur diesen die Schritt F 
bis K wiederum durchlaufen; ist dies nicht der Fall, so er- 
folgt, wie unter Bezug auf die Schritte E 1 , E 1 1 erlautert 
ein Riicksprung zur Abfrage ob ein weiterer Bahnabschnitt 
30 verandert werden soil (Schritt B) , wenn dies nicht der Fall 
ist, wie ebenfalls schon erlautert, ein Riicksprung zur Ab- 
frage hinsichtlich des Bearbeitungsstatuses und, wenn keine 
weitere Bearbeitung erfolgen soil, eine Abwahl des Pro- 
gramms und damit dessen Beendigung (Schritt L) . 
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Das Einfugen eines weiteren Zielpunktes einer Verfahrbewe- 
gung erfolgt entsprechend, wobei eine Ausgangsposition ein- 
geben oder aber seitens des Programms automatisch vorge- 
schlagen werden kann, wobei in diese die Zielposition der 
vorhergehenden Fahrbewegung sein kann. 

Der dargestellte Programmablauf kann weiterhin automati- 
siert und vereinfacht werden, indem beispielsweise Roboter- 
bahnen unmittelbar nach Offnen des Programms automatisch 
eingeblendet werden und/oder eine Auswahl von moglichen Ro- 
boterbahnen automatisch visualisiert wird. Der Nutzer kann 
ggf . entsprechende Roboterbahnen in einer Art Voransicht in 
der ogmentierten Realitat betrachten, sobald ein Programm 
lediglich in einer Programmubersicht des Programmierhandge- 
rats markiert wurde . 

Die weiteren Figuren 6 bis 6b zeigen einen prinzipiellen 
schaltungstechnischen Aufbau der erf indungsgemaUen Vorrich- 
tung zum Einblenden roboterspezif ischer rechnergenerierter 
Inf ormationen in ein Bild der realen Umwelt, wobei aus die- 
sen Darstellungen auch der erf indungsgemafre Verf ahrensab- 
lauf ersichtlich ist. 

Die erf indungsgemafte Vorrichtung 1 weist eine Verarbei- 
tungseinheit 5 zur Verarbeitung roboterspezif ischer, compu- 
tergenerierter Inf ormationen, zwecks deren Darstellung auf 
dem Sichtgerat 1.1, auf. Mit der Verarbeitungseinheit 5 
kann eine Kamera 1.2 verbunden sein - wie in Fig. 4 gestri- 
chelt eingezeichnet die ein Bild der realen Umwelt auf- 
nimmt und der Verarbeitungseinheit 5 zuf iihrt . Innerhalb der 
Verarbeitungseinheit 5 befindet sich eine Bildgenerierungs- 
einheit 5.1, von der Lage und Ausrichtung des Sichtge- 
rats 1.1 von der Kamera 1.2 ausgewertet werden, die zusam- 
men mit dem Kamerabild darzustellenden roboterspezif ischen, 
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computergenerierten Inf ormationen mit dem Kamerabild ver- 
mischt werden, so dass Realbild und dar zustellende Informa- 
tionen gemeinsam auf dem Sichtgerat 1.1 dargestellt werden. 

5 Hierzu weist die Verarbeitungseinheit 5 eine Manipulations- 
einheit 5.2 auf, die Datenschnittstellen zur Steuerung zu- 
mindestens eines Roboters, Robotersteuerung 6, hat und von 
dieser roboterspezif ische Inf ormationen bezieht, die zusam- 
men mit dem Bild der realen Umwelt auf dem Sichtgerat 1.1 
10 dargestellt werden sollen. Weiterhin kann die Verarbei- 
tungseinheit 5 eine Schnittstelle fur Eingabegerate, wie 
beispielsweise ein Programmierhandgerat fur einen Roboter, 
beinhalten, die eine raumliche Manipulation der roboterspe- 
zifischen Inf ormationen durch einen menschlichen Nutzer er- 
15 lauben. Durch die erfindungsgemaJie Vorrichtung werden robo- 
terspezif ische Inf ormationen, gegebenenf alls unter Beruck- 
sichtigung von Nut zereingaben, in Modelle der erweiterten 
Realitat (Augmented Reality Models) eingesetzt, die wieder- 
um von der Bildgenerierungseinheit 5.1 zur Darstellung des 
20 erweiterten Bildes auf dem Sichtgerat 1.1 weiter verarbei- 
tet werden. Verandernde Roboterdaten, gegebenenf alls auf-' 
grund Nutzereingaben, konnen von der Modellmanipulations- 
einheit 5.2 an die Robotersteuerung 6 zuruckgegeben werden. 
5.3 bezeichnet einen Nutzereingang zum raumlichen Manipu- 
j£5 lieren der AR-Daten. 

Die Verarbeitungseinheit 5 kann grundsatzlich entweder in 
das Sichtgerat 1.1, ein Programmierhandgerat 2 oder auch in 
die Robotersteuerung 6 integriert sein. Sie kann .grundsatz- 

30 lich auch eine eigene physikalische Einheit bilden. Die 

Verarbeitungseinheit 5 kann auch raumlich aufgeteilt sein, 
indem beispielsweise die Bildgenerierungseinheit 5.1 im 
Sichtgerat 1.1 oder einem Programmierhandgerat 2 angeordnet 
ist, wahfend die Modellmanipulationseinheit 5.2 in der Ro- 

35 botersteuerung 6 untergebracht sein kann. Grundsatzlich 
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kann die Verarbeitungseinheit 5 oder konnen Teile derselben 
fur verschiedene Roboter auch in einem zentralen System zu- 
sammengef asst sein, wobei gegebenenf alls Kommunikationswege 
auch uber das Internet fuhren konnen. 

5 

Bei der in Fig. 6 dargestellten Architekten handelt es sich 
urn eine grundlegende, von der Fig. 6a und Fig. 6b Spezial- 
falle fur handgehaltene bzw. brillenartige Sichtgerate ab- 
geleitet sind. Die allgemeine Architektur stellt die Ge- 
10 meinsamkeiten zwischen den folgenden beiden speziellen Ar- 
chitekturen heraus . 

p Bei der Ausgestaltung der Fig. 6a ist das Sichtgerat 1.1 

entsprechend den Darstellungen der Fig. la, lb, 2a, 2b mit 

15 einem Programmierhandgerat 2 verbunden oder in diesem in- 

tegriert. Dieses weist eine Kamera 1.2 sowie Eingabeelemen- 
te 2.1, 2.2 (Tasten, 6D-Maus) auf. Uber die Kamera 1.2 kann 
die Lage derselben und damit des Sichtgerats 1.1 in der be- 
schriebenen Form erfasst werden, wahrend uber die Eingabe- 

20 elemente 2.1, 2.2 Eingaben zur Manipulation von Roboterda- 
ten durch den menschlichen Nutzer eingegeben werden konnen. 
Ansonsten entspricht die Ausgestaltung der Fig. 5 der der 
Fig. 4. 

^85 Fig. 6 zeigt das prinzipielle Blockschaltbild zur erfin- 
dungsgemaiien Vorrichtung gemaft der Ausgestaltung der Fig. 
2.. Das Sichtgerat 1.1 ist in einer Augmented-Reality-Brille 
integriert, die auch mit einer Kamera 1.2 versehen sein 
kann. Die Brille kahn auch vom "See-through" Typ -sein, bei 

30 der die reale Welt nicht uber ein Kamerabild, sondern di- 

rekt wahrgenommen wird, und nur die computergenerierten In- 
formationen eingeblendet werden. Neben einem raumlichen 
Eingabeelement , beispielsweise einem Programmierhandgerat 2 
mit Eingabetasten 2.1 und/oder einer 6D-Maus 2.2, ist raum- 

35 lich und korperlich getrennt ein Sichtgerat 1.1 vorgesehen. 
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.Ansonsten entspricht auch das Blockschaltbild der Fig. 6 
auch dem der Fig. 4. 

Grundsatzlich kann das Eingabegerat in Form des Program- 
mierhandgerats 2, auch soweit es als Sichtgerat 1.1 mit- 
wirkt, auch in anderer Ausgestaltung vorgesehen sein; bei- 
spielsweise kann ein anderes Eingabegerat und auch ein an- 
deres Sichtgerat vorgesehen sein, wie insbesondere letzte- 
res weiter oben beschrieben wurde. 



Die Figuren 7a bis 7c zeigen mogliche Darstellungen auf dem 
Sichtgerat 1.1 itiit Bereichen der realen Umwelt, wie insbe- 
sondere einen Roboter 7 selbst oder aber ein von diesem zu 
bearbeitendes Werkstiick 8 sowie mit diesem Bild der realen 
15 Umwelt verbundene, in das Bild eingeblendete roboterspezi- 
fische computergenerierte Inf ormationen . Mit dem Bild eines 
realen Roboter s 7 mit einem Werkzeug 7.1, wie einer 
Schweiflzange konnen diesem zuzuordnende Koordinatensysteme, 
wie das stationare Weltkoordinatensystem Kl mit den Koordi- 
20 naten X+, Y+, Z+ generiert werden. Bei dem Koordinatensys- 
tem K 1 handelt es sich urn ein in den TCP parallelverschobe- 
nes Weltkoordinatensystem mit den verschobenen Koordinaten 
X f +, Y f +, Z f +. Der Ursprung des Weltkoordinatensystems Kl 
liegt am Schnittpunkt der Symmetrieachse des Sockels 7a des 
Roboters 7 mit dem Untergrund und der Ursprung des Koordi- 
natensystems K2 ist in den Mittelpunkt des Handf lansches 
oder aber, bei einem vorhandenen Werkzeug, in den 
Tool-Center-Point verlegt. Durch die Darstellung der Koor- 
dinatensysteme wird eine Unterstut zung beim manuellen kar- 
30 tesischen Verfahren des Roboters-, insbesondere mittels der 
Verfahrtaste am Programmiergerat , geschaffen (Fig. 7a) . 
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Der schwarze Pfeil V in Fig. 7a visualisiert durch seine 
Richtung und Lange die Bewegungsrichtung und Geschwindig- 
keit, mit der sich der Roboter bewegen wurde, wenn er ver- 
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fahrbereit ware, solange er nicht verf ahrbereit ist 
(Antriebe nicht eingeschaltet , Zustimmungstaste nicht ge- 
driickt) . Verfahrt der Roboter, so visualisiert der Pfeil V 
die aktuelle Verf ahrrichtung und -geschwindigkeit des Robo- 
5 tersystems. 

Um die Erstellung, die Anpassung oder den Test von Roboter- 
programmen zu erleichtern, kann das zu bearbeitende Werk- 
stuck 8 in Zuordnung zu dem Bild eines realen Roboters 7 
10 computergeneriert visualisiert werden. Das simulierte Bau- 
teil 8' bildet dann bei Erstellung, Anpassung und Test vom 
Roboterprogramm die Referenz. Die Verwendung eines simu- 
lierten Bauteils 8.' kann auch vorteilhaft sein, wenn das 
reale Bauteil 8 sperrig ist oder die freie Bewegung des 
T5 Nutzers 4 in der Anlage behindert (Fig. 7b). 

Die Fig. 7c zeigt die Einblendung eines Werkzeug- 
Koordinatensystems K3 mit den Koordinaten X 3 +, Y 3 +, Z 3 + als 
AR-Unterstutzung beim manuellen karterischen Verf ahren . 

20 

Dutch Manuipulation des Bezugskoordinatensystems kann ein 
Vermessen von Werkzeug oder Werkstiick erfolgen. Der Ablauf 
ist ahnlich dem der Manipulation der Zielpunkte von Bahnbe- 
wegungen wie unter Bezug auf die Fig. 5 erlautert. Das Be- 
£.5 zugskoordinatensystem wird unter Sichtkontrolle des Nutzers 
im Raum verschoben und verdreht, bis es sich in der ge- 
wiinschten Position relativ zum Werkstiick (bei der Vermes- 
sung eines Basis-Koordinatensysterns ) oder zum Werkzeug (bei 
der Vermessung eines Tool-Koordinatensystems ) befindet. 

30 

Soil eine Roboterbahn programmiert oder geandert werden und 
steht kein reales Werkstiick zur Verfiigung, so kann erfin- 
dungsgemafi statt dessen mit einem augmentierten Werkstiick 
gearbeitet werden. Ein Nutzer teacht die Punkte durch manu- 
35 elles Verfahren des Roboters nicht am realen, sondern am 
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augmetierten Werkstiick. In gleicher Weise wie ein nicht 
vorhandenes Werkstiick konnten auch nicht vorhandene Anla- 
genkomponenten augmentiert werden, urn z.B. die Roboterbahn 
so festlegen zu konnen, dass nach Installation dieser Anla- 
5 genkomponenten keine' Kollisionen erfolgen. Das manuelle 

Verfahren des Roboter in einem Raum, in dem (fast) nur aug- 
mentierte Objekte eingeblendet sind, ist einfacher, weil 
keine Riicksicht auf Kollisionen des Roboter mit realen Ob- 
jekten genommen werden muss und sich der Nutzer ungehindert 
10 im Raum bewegen kann . Die augmentierten Objekte sind hier ' 
statischer Natur. 

^ Ist kein reales Werkstiick vorhanden, so kann die Visuali- 
sierung des Werkstucks mittels AR dem Nutzer eventuell 
15 wertvolle Zusat zinf ormation liefern, welche Verf ahrbef ehle 
des Roboter zu einem bestimmten Bearbeitungsvorgang geho- 
ren, (indem ggf. sehr komplexe Roboterbahnen visualisiert 
werden, so dass eine Ubersicht schwierig ist) . 

20 Die Visualisierung des augmentierten Werkstucks zeigt dem 
Nutzer an, von welchem Werkstiick der Roboter ausgeht. Wer- 
den von einem Roboter mit verschiedenen Programmen ver- 
schiedene Werkstiicke bearbeitet, so erhalt der Nutzer durch 
den Vergleich zwischen realem und augmentierten Werkstiick 
^5 eine einfache Moglichkeit zu prufen, ob das richtige Bear- 
beitungsprogramm gewahlt ist (hierzu auch weiter unten zu 
Fig, 13) . 

Das augmentierte Werkstiick zeigt dem Nutzer an, an welcher 
30 Stelle der Roboter das Werkstiick vermutet. Entspricht die 
Bahn des Roboterprogramms nicht der Lage des realen Werk- 
stucks (z.B. aufgrund von Lagetoleranzen) , so kann der Nut- 
zer das Roboterprogramm korrigieren, indem er das augmen- 
tierte Werkstiick mitsamt den zugehorigen Bahnpunkten des 
35 Roboterprogramms verschiebt und verdreht, bis eine Deckung 
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mit dem realen Werkstuck erreicht ist. Die Manipulation 
kann wiederum wie in Abschnitt 3 dieses Dokuments beschrie- 
ben erfolgen. 

5 In den zuletzt beschriebenen drei Anwendungsf alien stellt 
die Visualisierung des Werkstucks mittels AR eine sinnvolle 
Zusat zinf ormation zum augmentierten Bahnverlauf des Robo- 
terprogramms dar. Die Augmentierung . des Werkstucks ist ab- 
hangig von der Roboterbahn (seine Position andert sich z.B. 
10 durch Verschiebung des entsprechenden Werkstuck-Koordi- 

natensystems) . Es handelt sich so um dynamische und manipu- 
lierbare roboterspezif ische Inf ormationen . 

Zur Unterstiitzung beim manuellen achsspezif ischen Verfahren 
15 eines Roboters, insbesondere mit den Verf ahrtasten am Pro- 
grammiergerat, konnen zusatzlich oder statt eines Koordina- 
tensystems die Achsen Al bis A6 des Roboters dargestellt 
werden, d.h. sie werden in das Bild des realen Roboters 7 
so eingeblendet , dass sie mit dessen tatsachlichen Achsen 
20 im Bild iibereinstimmen . Weiterhin kann positive und negati- 
ve Drehrichtung um die entsprechenden Achsen dargestellt 
werden (Fig, 8) . Das Visualisieren der Achsen kann auch 
beim manuellen kartesischen Verfahren hilfreich sein, um 
den Nutzer in der Nahe von singularen Gelenkkonf igurationen 
c2b darauf hinzuweisen, dass eine oder mehrere Achsen bald an 
die Grenzen ihrer maximalen Beschleunigung bzw. Geschwin- 
digkeit stoBen. 

Weiterhin kann das manuelle Verfahren insbesondere mittels 
30 einer 3D-Maus 2.2 dadurch erleichtert werden, dass diese 

direkt unmittelbar vor dem Handflansch 7b oder dem TCP ei- 
. nes Roboters 7 in das Bild desselben als virtuelle 
3D-Maus 2.2 1 eingeblendet wird. Zusatzlich kann die. virtu- 
elle Hand 4.1a eines Benutzers miteingeblendet werden (Fig. 
35 9) . 
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Die Fig. 10 zeigt das Bild eines realen Roboters 7 zusammen 
mit computergenerierten weiteren Positionen 7' und Teilen 
des Roboters, namlich Schwinge, Roboterarm und Roboterhand, 
in verschiedenen Positionen, wodurch Gesamtarbeitsraume 
etc. veranschaulicht und damit ebenfalls Programmierungen 
eines Arbeitsablauf s des Roboters erleichtert werden kon- 
rien, da man fur das Teachen von Bahnpunkten und zum Uber- 
priif en einer programmierten Bahn den Roboter nicht verfah- 
ren muss, hierdurch Zeit spart und die Gefahr von Schaden 
an Dingen oder Personen reduziert wird. 

Weiterhin ist es moglich, zusammen mit dem Bild eines rea- 
len Roboters 7 und durch dessen Handflansch 7b oder den TCP 
gehend, eine computergenerierte Roboter-Arbeit sbahn einzu- 
blenden, gegebenenf alls zusammen mit spezif ischen, alphanu- 
merisch bezeichneten Punkten PI bis P6 der Bahn sowie Bahn- 
geschwindigkeiten in gewissen Bereichen,. wie Bereichen zwi- 
schen zwei Punkteri und schlieftlich auch alphanumerischen 
f unktionellen Angaben, wie im dargestellten Ausf uhrungsbei- 
spiel das Offnen und Schliefien eines Greifers (Open- 
Gripper, Close-Gripper ) an den Bahnpunkten P4 und P5 (Fig. 
11). 

Zusatzlich zu den alphanumerischen Inf ormationen konnen 
auch Symbole oder auch die Orientierung des Werkzeugs in 
bestimmten Bahnpunkten visualisiert werden. 

Fur die Anpassung existierender Roboterprogramme konnen die 
Bahnpunkte direkt, einzeln oder in Gruppen im Raum verscho- 
ben und verdreht werden, wie dies in der Fig. 12 darge- 
stellt ist, wobei die Vorgabe neuer Bahnpunkte oder auch 
ganzer neuer Programm- bzw. Bahnablaufe, ebenfalls direkt 
visualisiert werden konnen, wie dies unter Bezug auf die 
Fig. 5 erlautert wurde. 



In Weiterbildung kann dabei vorgesehen sein, dass zusammen 
mit dem Bild des realen Bauteils 8 ein computergeneriertes 
Bauteil 8' visualisiert wird (Fig. 13). Hierdurch konnen 
bei Abweichungen der Bauteillage die Lage von . Gruppen von 
Bahnpunkten im Roboterprogramm korrigiert werden, indem das 
augmentierte Werkstuck 8 1 gemeinsam mit Bahnpunkten oder 
der Bahn des Roboters, die sich darauf beziehen, verschoben 
und verdreht wird, bis das augmentierte Werkstuck 8 1 mit 
dem realen Werkstuck 8 zur Deckung kommt . 

Weiterhin ist es moglich, Arbeitsbereiche einer aus mehre- 
ren Roboter bestehenden realen Anlage zu visualisieren und 
diese interaktiv anzupassen. Die Fig. 14 zeigt das reale 
Bild dreier miteinander zusammenwirkender Roboter 7.1, 7.2, 
7.3 zusammen mit der computergenerierten Darstellung ihrer 
Gasamtarbeitsraume 7.1 f , 7.2 f , 7.3 f . Die Visualisierung des 
erreichbaren Gesamtarbeitsraums eines Robotersystems kann 
vorteilhaft sein, urn mogliche Kollisionsbereiche von eng 
stehenden Robotersystemen zu erkennen. Auch die direkte An- 
legung oder Anpassung der Roboterbahn wird so durch die Vi- 
sualisierung des erreichbaren Arbeitsraums wirkungsvoll un- 
terstlitzt. 

Weiterhin konnen Bereiche visualisiert und angepasst wer- 
den, in die der Roboter nicht eindringen oder die er nicht 
verlassen darf . Es konnen zudem auch Arbeitsbereiche behan- 
delt werden, die von mehreren Robotersystemen (oder anderen 
Anlagenkomponenten) gemeinsam genutzt werden, so dass ihre 
Nutzung verwaltet werden kann. Auch virtuelle Fuhrungsme- 
chanismen, die beim handgef tihrten Betrieb von Robotersyste- 
men eingesetzt werden, konnen einfach festgelegt,. visuali- 
siert und angepasst werden. Die Typen von Arbeitsbereichen 
konnen jeweils vom Programmierer definiert oder auch durch 
eine entsprechende Software automatisch festgelegt werden. 
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Der definierte Arbeit sbereich kann sich jeweils auf einen 
definierten Punkt der Roboterstruktur, vorzugsweise den 
TCP, beziehen oder alternativ auf die AuBenkontur des Robo- 
ters oder eines Teils desselben. 

Die Visualisierung eines Arbeitsbereichs kann z.B. durch 
das Einblenden eines dem Arbeitsbereich eritsprechenden Kor- 
pers derselben Grofte und Geometrie erfolgen (Fig. 15) . Die 
Visualisierung von virtuellen Fuhrungsmechanismen bzw. 
-korridoren kann in ahnlicher Form erfolgen, wobei entspre- 
chende drei-, zwei- oder eindimensionale Korper Verwendung 
finden, wie dies in Fig. 16 dargestellt ist. Alternativ 
kann es auch vorteilhaft sein, eine aquivalente mechanische 
Struktur zu visualisieren, die eine entsprechende Ein- 
schrankung der Bewegungsmoglichkeiten beinhaltet, wie die 
Visualisierung von Fiihrungsschienen, Gelenkmechanismen -oder 
dergleichen. 

Zur Anpassung visualisierter Arbeitsraume konnen Eckpunkte 
oder Hilfspunkte im Raum individuell korrigiert werden; al- 
ternativ konnen Arbeitsraume auch angepasst werden, indem 
ihre Seitenf lachen individuell verschonben und verdreht 
werden, wie dies unter Bezug insbesondere auf die Fig. 4a 
bis 4c beschrieben wurde . 

Die erf indungsgemafie AR-Visualisierung von Arbeitsraumen 
und virtuellen Fuhrungsmechanismen unterstutzt den Nutzer 
bei der Festlegung derselben, z.B. durch die Einblendung 
der zulassigen oder unzulassigen Arbeit svolumina, wie das 
in den Fig. 15 und 16 dargestellt ist. Wahrend der Program- 
mierung ist eine Moglichkeit gegeben, die Arbeitsraume oder 
virtuelle Fuhrungsmechanismen zu manipulieren, beispiels- 
weise iiber das "Verschieben" von Eckpunkten mit den Einga- 
beelementen am Programmierhandgerat . 
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Wenn mit einem Programmierhandgerat mehrere Roboter sukzes- 
sive prpgrammiert werden konnen, ist es moglich, den Pro- 
grammiergeratmembran zugeordneten Roboter, zu kennzeichnen, 
beispielsweise durch ein graphisches Element, wie einen 
Pfeil oder dergleichen (Fig. 17). Das gleiche ist der Fall, 
wenn mittels eines Programmierhandgerats verschiedene Robo- 
ter nacheinander oder gleichzeitig gesteuert werden konnen. 
Auch in diesem Fall ist es vorteilhaft, den bzw. die aktu- 
ell dem Programmierhandgerat zugeordneten Roboter dem Nut- 
zer visuell kenntlich zu machen. Zusatzlich konnen Roboter- 
systeme derart an- bzw. abgewahlt werden, indem der Nutzer 
eingeblendete virtuelle Eingabeelemente beriihrt, oder auch 
des Programmiergerats auf den entsprechenden Roboter aus- 
richtet. Auch die prinzipielle Anwahlbarkeit eines Roboters 
bzw. seine fehlende Anwendbarkeit , wenn der Roboter z.B. 
nicht zu der Gruppe der Roboter gehort, die von einem gege- 
benen Programmierhandgerat aus kontrolliert werden konnen, 
kann dem Nutzer direkt am Bild des realen Roboters durch 
eine entsprechende Markierung oder Kennzeichnung mitgeteilt 
werden. Daruber hinaus lassen sich auch der aktuelle Zu- 
stand von Robotersystemen visualisieren und gegebenenf alls 
andern, wie die gewahlte Betriebsart, Zustand der Antriebe 
(eingeschaltet , ausgeschaltet ) oder dergleichen. 
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Verfahren zum Einblenden rechnergenerierter Inf ormatio- 
nen in einen von einem Bildempf angsgerat erfassten Bild 
der realen Umwelt auf einem Sichtgerat, dadurch gekenn- 
zeichnet, dass eine Bestimmung von Ort und Ausrichtung 
(Pose) des Bildempf angsgerats erfolgt und dass dieser 
Bestimmung ent sprechende roboterspezif ische Informatio- 
nen auf dem Sichtgerat dem Bild der realen Umwelt iiber- 
blendet werden. 

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass 
mindestens ein roboterspezif ische s Koordinatensystem 
eingeblendet wird . 



15 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich- 
net, dass ein Handf lansch-f estes Koordinatensystem ein- 
geblendet wird. 



20 



4. Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass Roboterachsen eingeblendet 
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werden . 

Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass das Bild eines zumindestens 
in zwei Dimensionen bewegbaren Bedienungselements eines 
Roboter-Programmierhandgerates eingeblendet wird . 

Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass 
das Bild der Bedienungseinheit in Zuordnung und Aus- 
richtung des Roboter-Handf lansches eingeblendet wird. 

Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass zumindestens ein von einem 
Roboter bewegtes Werkzeug, vorzugsweise mehrere Robo- 
terelemente, in einer Arbeitsumgebung eines Roboters 
eingeblendet werden. 

Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass eine bei einem -Roboter im 
Rahmen eines Arbeitsvorgangs zu durchlauf ende Roboter- 
bahn, insbesondere die des Tool-Center-Points, gegebe- 
nenfalls mit Zusat zinf ormationen eingeblendet werden. 

Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass Bahnpunkte eingeblendet wer- 
den, dass die Position der Bahnpunkte im Raum verander- 
bar ist und jeweils eine der Position der. Gesamtheit 
der Bahnpunkte entsprechende Roboter-Bahnkurve einge- 
blendet wird. 

Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass das Bild eines von einem Ro- 
boter zu bearbeitenden Werkstiicks, gegebenenf alls mit 
diesem zugeordneten Achsen eingeblendet wird. 
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11. Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass zur Anpassung einer Roboter. 
bahn an die Position eines erfassten realen Werkstlicks 
ein virtuelles Bild des Werkstlicks mit einer an dieses 

5 angepassten Roboterbahn eingeblendet wird, so dass 

durch Uberlagerung des virtuellen Werkstuckbildes mit 
dem Bild des realen Werkstuckes die durchzuf iihrende Ro 
boterbahn an die Position des realen W.erkstiicks anpass 
bar ist. 

10 

12. Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass ein durch einen Roboter er- 
reichbarer Arbeitsraum und/oder ein zulassiger Arbeits 
raum auf dem Sichtgerat visualisiert wird. 

15 

13. Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass Bewegungskorridore eines Ro 
boter-Werkzeugs, einer Roboter-Hand und/oder weiterer 
Roboterelemente auf dem Sichtgerat visualisiert werden 

20 

14. Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass permanente und/oder momenta 
ne Zuordnungen mindestens eines Programmierhandgerates 
zumindestens eines Roboters visualisiert werden. 

25 

15. Verfahren nach einem der vorangehenden Anspruche, da- 
durch gekennzeichnet, dass Ort und Ausrichtung der An- 
zeige mittels festen Markierungen im Raum erfasst wer- 
den. 



16. 



Verfahren nach Anspruch 15, dadurch gekennzeichnet, 
dass Ort und Ausrichtung des Sichtgerats f unktechnisch 
erfasst werden. 
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Verfahren nach einem der vorangehenden Anspriiche, da- 
durch gekennzeichnet, dass Ort und Ausrichtung des 
Sichtgerats optisch erfasst werden. 

Verfahren nach einem der vorangehenden Anspriiche, da- 
durch gekennzeichnet, dass die roboterspezif ischen Com 
putergenerierten Inf ormationen in einer von einem Be- 
nutzer zu tragenden Datenbrille eingeblendet werden. 

Verfahren nach einem der Anspriiche 1 bis 17, dadurch 
gekennzeichnet, dass die roboterspezif ischen computer- 
generierten Inf ormationen auf einem transparenten Bild 
schirm als Sichtgerat eingeblendet Werden. 

Verfahren nach einem der Anspriiche 1 bis 17., dadurch 
gekennzeichnet, dass die roboterspezif ischen computer- 
generierten Inf ormationen zusammen mit opto-elektro- 
nisch auf genommenen Inf ormationen auf einem graphikfa- 
higen Bildschirm als Sichtgerat dargestellt werden. 

Verfahren nach einem der vorangehenden Anspriiche, da- 
durch gekennzeichnet, dass die roboterspezif ischen com 
putergenerierten Inf ormationen zusammen mit opto-elek- 
tronisch auf genommenen Inf ormationen auf einem Sichtge 
rat in Form eines graphikf ahigen Bildschirms eines Pro 
grammierhandgerats fur einen Roboter dargestellt wer- 
den . 

Verfahren nach einem der vorangehenden Anspriiche, da- 
durch gekennzeichnet, dass die roboterspezif ischen com 
putergenerierten Inf ormationen zusammen mit opto-elek- 
tronisch auf genommenen Inf ormationen auf einem mit ei- 
nem Programmierhandgerat eines Roboters verbindbaren 
graphikf ahigen Bildschirm . als Sichtgerat dargestellt 
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werden. 

23. Vorrichtung zum Visualisieren computergenerierter In- 
formationen in einem Bild der realen Umwelt, mit einem. 

5 Bildempf angsgerat und einem Sichtgerat, gekennzeichnet 

durch eine Einrichtung zur Bestimmung von Ort und Aus- 
richtung (Pose) des Bildempf angsgerats und durch eine 
Einrichtung zum Uberblenden der Bestimmung entsprechen- 
der roboterspezif ischer Inf ormationen iiber das Bild der 
10 realen Umwelt auf dem Sichtgerat. 

24. Vorrichtung nach Anspruch 23, gekennzeichnet durch eine 
Anzeige mindestens eines roboterspezif ischen Koordina- 
tensystems . 

15 

25. Vorrichtung nach Anspruch 23 oder 24, gekennzeichnet 
durch eine Anzeige eines Handf lansch-f esten Koordina- 
tensystems. 

20 26. Vorrichtung nach einem der Anspruche 23 bis 25, gekenn- 
zeichnet durch eine Anzeige von Roboterachsen . 

27. Vorrichtung nach einem der Anspruche 23 bis 26, gekenn- 
zeichnet durch eine Anzeige des Bilds einer zuminde- 

25 stens in zwei Dimensionen bewegbaren Bedienungseinheit 

eines Roboter-Programmierhandgerates . 

28. Vorrichtung nach Anspruch 27, gekennzeichnet durch eine 
Anzeige des Bildes der Bedienungseinheit in Zuordnung 

30 und Ausrichtung des Roboter-Handf iansches . 

29.. Vorrichtung nach einem der vorangehende.n Anspruche, ge- 
kennzeichnet durch eine Anzeige zumindestens eines von 
einem Roboter bewegten Werkzeugs, vorzugsweise mehrerer 
35 Roboterelemente, in einer Arbeitsumgebung eines Robo- 
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ters. 

30. Vorrichtung nach einem der Anspriiche 23 bis 29, gekenn- 
zeichnet durch eine Anzeige einer bei einem Roboter, 
insbesondere dem Handflansch eines Roboters, im Rahmen 
eines Arbeitsvorgangs zu durchlauf enden Roboterbahn, 
gegebenenf alls mit Zusatzinf ormationen . 

31. Vorrichtung nach einem der Anspriiche 23 bis 30, gekenn- 
zeichnet durch eine Anzeigen von Bahnpunkten einer Ver- 
anderbarkeit der Position der Bahnpunkte im Raum und 
jeweils einer Anzeige einer Position der Gesamtheit der 
Bahnpunkte entsprechenden Roboter-Bahnkurve . 

32. Vorrichtung nach einem der Anspriiche 23 bis 31, gekenn- 
zeichnet durch eine Anzeige eines Bildes eines von 
einem Roboter zu bearbeitenden Werkstiicks, gegebenen- 
falls mit diesem zugeordneten Achsen. 

33. Vorrichtung nach einem der Anspriiche 23 bis 32, gekenn- 
zeichnet durch eine Anzeige eines virtuellen Bildes 
eines Werkstiicks mit einer an dieses angepassten Robo- 
terbahn zur Anpassung der Roboterbahn an die Position 
eines erfassten realen Werkstiicks, so dass durch Uber- 
lagerung des virtuellen Werkstiickbildes mit dem Bild 
des realen Werkstiickes die durchzuf iihrende Roboterbahn 
an die Position des realen Werkstiicks anpassbar ist. 

34. Vorrichtung nach einem der Anspriiche 23 bis 33, gekenn- 
zeichnet durch eine Anzeige eines durch einen Roboter 
erreichbaren Arbeitsraums und/oder eines zulassigen Ar- 
beitsraums auf dem Sichtgerat. 



35. 



Vorrichtung nach einem der Anspriiche 23 bis 34, gekenn- 
zeichnet durch eine Anzeige von Bewegungskorridoren 
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eines Robot er-Wer kzeugs , einer Robot er-Hand und/oder 
weiterer Roboterelemente auf dem Sichtgerat. 

36. Vorrichtung nach einem der Anspruche 23 .bis 35, gekenn- 
5 zeichnet durch eine Anzeige permanenter und/oder momen- 

taner Zuordnungen mindestens eines Programmierhandgera- 
tes zumindestens zu einem Roboter. 

37. Vorrichtung nach einem der Anspruche 23 bis 36, gekenn- 
10 zeichnet durch feste Markierungen im Raum zur Erfassung 

von Ort und Ausrichtung der Anzeige. 

^' 38. Vorrichtung nach Anspruch 37, dadurch gekennzeichnet, 

dass die Markierungen f unktechnische Empfanger, insbe- 
15 sondere Sender sind. 

39. Vorrichtung nach einem der Anspruche 23 bis 38, dadurch 
gekennzeichnet, dass die Markierungen durch einen opti- 
schen Empfanger erfassbare Markierungen sind. 
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40. Vorrichtung nach einem der Anspruche 23 bis 39, gekenn- 
zeichnet durch eine von einem Benutzer zu tragende Da- 
tenbrille zur Anzeige der roboterspezif ischen Computer- 
generierten Inf ormationen . 

41. Vorrichtung nach einem der Anspruche 23 bis 39, gekenn- 
zeichnet durch einen transparenten Bildschirm zur An- 
zeige der roboterspezif ischen computergenerierten In- 
formationen. 

42. Vorrichtung nach einem der Anspruche 23 bis 39, gekenn- 
zeichnet durch einen graphikf ahigen Bildschirm zur An- 
zeige der roboterspezif ischen computergenerierten In- 
formationen zusammen mit opto-elektronisch aufgenomme- 



nen Informationen . 



Vorrichtung nach einem der Anspruche 23 bis 42, gekenn- 
zeichnet durch ein Sichtgerat in Form eines graphikfa- 
higen Bildschirms eines Programmierhandgerats fur einen 
Roboter zur Anzeige der roboterspezif ischen computerge- 
nerierten Informationen zusammen mit opto-elektronisch 
auf genommenen Informationen . 

Vorrichtung nach einem der Anspruche 23 bis 43, gekenn- 
zeichnet durch einen mit einem Programmierhandgerat 
eines Roboters verbindbaren graphikf ahigen Bildschirm 
als Sichtgerat zur Anzeige der roboterspezif ischen com- 
putergenerierten Informationen zusammen mit opto-elek- 
tronisch auf genommenen Informationen . 
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*1 

Zu s ammenf as sung 



Zur Verbesserung der Bedienung von Robotern beim Einrich- 
ten, Umprogrammieren und Leeren eines von diesem durchzu- 
fuhrenden Arbeitsablauf s sieht die Erfindung ein Verfahren 
5 und eine Vorrichtung zum Visualisieren rechnergenerierter 
Inf ormationen in ein Bild der realen Umwelt auf einem 
Sichtgerat vor, bei dem eine Bestimmung von Ort und Aus- 
richtung (Pose) des Bildempf angsgerats erfolgt und dass 
dieser Bestimmung ent sprechende roboterspezif ische Informa 
10 tionen auf dem Sichtgerat dem Bild der realen Umwelt uber- 
blendet werden. 
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Bezugszeichenliste 



1 Vorrichtung 

1.1 Sichtgerat 

1.2 Kamera 

5 1.3 Brillenglaser 

1.4 Kabel 

2 Programmierhandgerat 

2.1 Verf ahrtasten 

2.2 6D-Maus 

10 2.3 Bildschirm 

3 Sensorsystem 

3.1 Stationares Empf arigssystem 

3 . 2 Eingangselement 

4 Nutzer 
15 4.1, 4,1' Hand 

4.1a virtuelle Wand 

5 Verarbeitungseinheit 

5 . 1 Bildgenerierungseinheit 

5 . 2 Manipulationseinheit 
20 6 Robotersteuerung 
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